AI Papers Daily

#LLM Router

2 篇

MARS: Memory-Aware Routing for Session-Level LLM Assistants

记忆感知路由：会话级LLM助手的记忆构造与模型选择协同框架

🧭 Agent 会话记忆与路由协同优化 ★ 深度解读

Southern University of Science and Technology · City University of Hong Kong · The Chinese University of Hong Kong, Shenzhen · Harbin Institute of Technology (Shenzhen)

通过共享会话状态协调记忆暴露与模型选择，在长历史交互中实现质量-成本平衡

📌 工作参考价值（4 点）

• 在电商客服/导购 Agent 中，将记忆构造与模型路由解耦会导致强模型被错误上下文拖累，建议引入轻量级控制器（QTM）输出结构化会话状态，同时指导召回/上下文组装和模型选择，降低过期信息与干扰。
• 使用 LinUCB 在线学习路由策略，以 turn-level rubric 评分减生成成本作为奖励，冷启动即可用，无需重训底层 LLM，适合线上多模型池的动态成本控制。
• 区分「记忆访问」与「记忆暴露」：维护大记忆池但只给生成模型打包决策相关证据，并通过预算感知 pack 适配不同模型的上下文窗口，能有效避免 context overflow 和多余 distractors。
• 借鉴 QTM 的 schema 字段（action/query_type/phase/retrieval_scope/top_k_hint/lens_recommendation），避免把原始 topic 标签直接喂给路由器，有助于跨任务泛化和可解释性。

Agent | 2026-10-16 | cs.CL | score 8/10

Memory-Aware RoutingSession-Level LLMContextual BanditLong-Term MemoryCost-Quality Trade-offLLM Router

LLMRouter: Unified Infrastructure for Developing, Evaluating, and Deploying LLM Routers

LLMRouter：LLM 路由器开发、评估与部署的统一基础设施

🧭 LLM 路由统一框架与评测基准

University of Illinois Urbana-Champaign · University of Maryland, College Park · Nanyang Technological University · Purdue University · University of Illinois Chicago

提出统一 LLM 路由五组件公式、开源模块化基础设施与 xRouteBench 基准，系统比较 16+ 路由器并给出成本与个性化关键发现

📌 工作参考价值（4 点）

• 做 LLM 路由时可将策略抽象为「编码器→打分→决策规则→学习信号」，按组件模块化开发，便于快速替换编码器（如用户/上下文 embedding）和损失函数；LLMRouter 的开源实现可当内部 Router 服务的脚手架。
• 电商/搜索推荐中不同 query/任务对模型能力和成本敏感度差异大，统一评估质量+推理成本的方式值得照搬，建议建立类似 xRouteBench 的内部基准，用候选模型池自动产出路由标签。
• 实验结论提示在严格成本预算下轻量路由器反而更优；部署 LLM Agent 或生成式推荐服务时，应把单模型强大与路由开销一起评估，不要盲目追求复杂路由器。
• 个性化路由（user-conditioned routing）增益稳定，可把用户画像/历史行为嵌入作为条件输入，让路由决策感知用户，提升推荐、广告文案生成等场景的个性化效果。

Other | 2026-08-06 | HF Daily | score 6/10

LLM RouterModel RoutingBenchmarkInfrastructureCost-Quality TradeoffPersonalization